The Mercy’s sendiri didirikan tahun 1965 di Medan dengan anggota awal Erwin Harahap, Rinto Harahap, Rizal Arsyad (Mantan suami Iis Sugianto), Reynold Panggabean (Mantan suami Camelia Malik) dan Iskandar dibawah pimpinan Rizal Arsyad. Tapi ketika ada undangan untuk show di Penang, Malaysia pada tahun yang sama Iskandar mengundurkan diri, karena kuliahnya di Fakultas Kedokteran tidak mengizinkannya untuk meninggalkan bangku kuliah. Posisinya lalu digantikan oleh Charles Hutagalung.